本章将首先对时下最优的一系列的社交网络中传播模型未知前提下的多源点检测方法进行研究思路和具体实现上的简要分析，阐述这一系列方法存在的不足之处。
进一步地，本文将以这些方法的不足之处与一系列调研和观察结论作为研究动机，提出在社交网络完整图数据中，针对两种训练模式采用的两种基于序列预测模型的多源点检测方法，并分别论证其可解释性，描述其具体实现细节。


\section{多源点检测任务研究现状与研究动机分析}\label{sec:baseline-faults}

经过如\autoref{sec:baseline-state}所述的研究分析，时下最优的一系列源点检测模型仍然有一系列不足之处：
LPSI方法仅仅处理了单个标签传播快照，并没有有效地捕捉和表征多次观察得到标签传播快照序列的标签数据信息、传播行为信息和时序关联信息；
GCNSI\cite{gcnsi_2019}并没有充分考虑到多个节点标签快照的状态之间的时序依赖信息，仅仅是使用简单的聚合函数来聚合多个经由图神经网络处理的节点快照特征嵌入作为最终的预测依据；
SL\_VAE\cite{ling_sl_vae_2022}、MGCNSI\cite{yang_mgcnsi_2023}和IVGD\cite{wang_ivgd_2022}等工作大都没有充分利用标签传播快照序列关键的时序关系；
TGASI\cite{hou_tgasisequential_2023}这一工作虽然意识到了捕获标签传播序列的时序信息的重要性并建立了复杂机制以嵌入异构的快照特征、序列特征和节点拓扑特征，但其选用的GRU模型，作为循环神经网络族的机器学习模型，相对于Transformer系列模型在尤其是长序列中节点关系的表征能力上有被大量工作验证的可见差异\cite{cmp-trans-rnn}。
本文认为，针对上述不足之处进行优化和补全可以获得更好的任务效果，并提升模型泛化能力。

此外，无论对于监督学习还是自监督学习流程，一个事实是社交网络中的标签本身（如舆论、传染病等）往往具有一系列可被总结和嵌入的语义或传播等可分类特征。因此本文认为，应使用类似推荐系统的嵌入方法，对标签的语义特征进行相似度查询，用已经过训练的、可能已有标记的标签数据对当前需要训练的标签数据进行标签类别上的参考与增强，就能一定程度上提升对所处理标签传播序列的传播源预测效果。

进一步地，除LPSI这一工作外，所有基于深度学习模型，以训练-预测为主体构建流程的方法都依赖训练集中提供的先验传播源这一基准事实（Ground Truth），这也意味着这些工作都属于监督学习范畴。而在现实世界的社交网络中，对于信息传播行为的实际溯源是一项工程量极大的过程，对所有传播行为进行溯源往往是不现实的，这就意味着大量的标签传播数据都是没有对应传播源点的无标记数据。
对于这样的无标记数据，更科学的方法是构建合理的自监督学习（Self Supervised Learning）模型，从标签传播行为本身提取出节点对于标签的传播偏好特征，并基于能观察到的序列作出源点置信预测。



\section{方法与创新点概述}
基于以上研究动机，本章提出建立在社交网络完整图数据上的多源点检测方法RSPSI（Reverse Sequence Prediction Source Identification）及其在两种深度学习训练模式下的实现。本章所提出方法的整体实现思路及其创新点可简单归为如下若干点：

\begin{itemize}
    \item 输入处理与特征嵌入。首先，提供多数据维度、可扩展的特征输入模式，分为图拓扑节点特征、标签传播序列整体特征和标签传播单快照特征三个数据跨度的输入特征。并基于图神经网络模块和混合“时间序列”和“特征通道”两个维度的MLP-Mixer模块得到模型的输入特征表示。在特征抽取过程中，本文扩展了LPSI方法，并创新性地引入了标签分类特征，提升了标签特征的聚类性，也提供了潜在的知识图谱层面的可扩展性；在图神经网络处理步骤中，本工作创新性地设置应用于不同维度的两种图神经模块并通过重复输出来减少模型计算复杂度，提升可解释性；在多位特征混合过程中，本文为两种机器学习场景下的MLP-Mixer模块做出了针对性的优化，提升了模型的可解释性和参数利用效率。
    \item 序列预测。此后，将一个标签快照序列的嵌入视为一个整体序列，将序列中每个标签快照的嵌入设为一个token，由最晚观测到的序列开始，最早观测到的序列结束，逆序输入到Transformer层堆叠构建的序列预测模块中，进而预测最开始情况下的标签快照，也即标签传播的源点，此为方法名中“RSP”（Reverse Sequence Prediction，逆向序列预测）的含义。这一步骤体现了本文的核心创新点，即将社交网络的传播溯源问题映射到时间序列的预测和生成问题。
    \item 学习模式特化的进阶模型设计。进一步地，以训练数据中是否有先验源点数据为基准，确定选用监督学习（RSPSI by Supervised-learning，RSPSI-S）或自监督学习方法（RSPSI by sElf-supervised-learning，RSPSI-E），对应地分别使用Encoder和Decoder的Transformer堆叠模型架构，在两种训练方法下分别通过加权平均池化和逆向序列生成方法进行传播源的置信评分预测。在两种模型的实现中，都采用了基于概率采样的节点剔除策略，并通过将剔除决策渗透进入Transformer层以提高训练效率；在RSPSI-E模型的实现中，本文创新性地使用位置-拓扑块掩码来进行模型训练，并使用拟合社交网络传播性质的指数分布模拟生成快照的节点感染比例。
\end{itemize}


基于上述时下最优的方法总结和本文提出的RSPSI多源点检测系列方法的设计概述，可以总结出如\autoref{tab:model_cmp}所示的在一系列关键工作项方面，RSPSI与现有各方法的异同。




\begin{table}[htbp]
    \caption{\label{tab:model_cmp}各模型及其关键工作项差异}
    \begin{tabularx}{\linewidth}{|X<{\centering}|c|c|c|c|c|c|c|}
        \hline
        工作项\textbackslash 方法 & LPSI       & GCNSI      & MGCNSI     & SL\_VAE    & IVGD       & TGASI      & RSPSI      \\ \hline
        支持自监督学习              & \checkmark &            &            &            &            &            & \checkmark \\ \hline
        使用图神经网络              &            & \checkmark & \checkmark & \checkmark & \checkmark & \checkmark & \checkmark \\ \hline
        处理多快照序列              &            & \checkmark & \checkmark & \checkmark & \checkmark & \checkmark & \checkmark \\ \hline
        表征时序关系               &            &            &            &            & \checkmark & \checkmark & \checkmark \\ \hline
        嵌入传播特征               &            &            &            & \checkmark & \checkmark & \checkmark & \checkmark \\ \hline
        嵌入节点特征               &            &            &            &            &            & \checkmark & \checkmark \\ \hline
        嵌入标签特征               &            &            &            &            &            &            & \checkmark \\ \hline
    \end{tabularx}
\end{table}


\section{基于先验源点事实拟合的多源点检测方法RSPSI-S}
本节正式提出基于先验源点事实拟合的多源点检测方法RSPSI-S，即RSPSI方法在社交网络整图上进行监督学习的具体方法实现。

以监督学习训练模式训练多传播源检测模型，意味着对于每组节点标签快照序列，都有着与之对应的先验源点数据。\autoref{fig:rspsi-s} 展示了RSPSI-S检测方法的整体架构模型，本节将从输入特征构建、图神经网络表征、多维节点表示混合和源点预测等几个模块分别阐述RSPSI-S的实现细节。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=\textwidth]{lzy/rspsi-s.pdf}
    \caption{\label{fig:rspsi-s}RSPSI-S模型示意图}
\end{figure}
\subsection{输入特征构建}
如\autoref{fig:rspsi-s}所示，在输入特征处理阶段RSPSI-S模型处理了三个整体通道的输入：标签单快照序列输入、标签快照序列整体特征输入和图拓扑特征输入，三个部分的特征输入分别对单快照的标签分部信息，标签快照序列整体的传播特性和节点表现以及图数据本身的拓扑信息以及图节点可能具有的多模态特征进行有效嵌入和建模。为三个数据维度分别进行特征抽取和模型构建可以减少模型的参数冗余，也可以更好的根据特征抽取的位置进行特化建模，更好地表征其特性。


\subsubsection{节点标签快照维度的特征构建}
节点标签快照维度的数据粒度是单个快照，因此假设这一维度在单一快照内抽取得到的特征数量为$K^{ss}$，那么对于节点数量为$N$的完整社交网络图和长度为$M$的标签快照序列，其产生的全部特征数据可以表示为$Input^{ss} \in \mathbb{R}^{M\times N \times K^{ss}}$。


首先可以通过两个相邻快照的对比来计算得到每个快照内除节点标签快照序列的增量信息。通过和观察顺序上的上一个快照对比计算，可以得到如公式\ref{equ:rspsi_s_inputss_1stInfected} 所示的节点是否初次被激活$v^{1stInfected}\in \mathbb{R}^N$节点特征和节点是否初次恢复$v^{1stRecovered}\in \mathbb{R}^N$的节点特征。
\begin{equation}
    \label{equ:rspsi_s_inputss_1stInfected}
    \begin{split}
    v^{1stInfected}_i &= \begin{cases}
        1 & \text{在当前观测快照内，节点i首次被感染} \\[5pt]
        0 & \text{非上述情况}
    \end{cases}\\
    % \label{equ:rspsi_s_inputss_1stRecovered}
    v^{1stRecovered}_i &= \begin{cases}
        1 & \text{在当前观测快照内，节点i首次恢复为未感染} \\[5pt]
        0 & \text{非上述情况}
    \end{cases}
\end{split}
\end{equation}
对于输入节点标签快照序列中的首个快照，本文规定$v^{1stInfected}$设为初始快照值，而$v^{1stRecovered}$则置0。

在节点标签快照信息层面，前文已经提到LPSI方法能够很好地捕获节点标签快照下节点的标签显著值，从而为后续的深度学习模型提供优秀的特征输入\cite{gcnsi_2019}。因此本文以标签快照数据$y_m$和前述提到的LPSI评分计算公式\ref{equ:lpsi_iter_def}为基础，扩展得到如公式\ref{equ:rspsi_s_inputss_extended_lpsi}所示的原始标签传播的LPSI评分$v^{LPSI}\in\mathbb{R}^N$，被感染标签（即正标签）传播的LPSI评分$v^{LPSI_{+}\in\mathbb{R}^N}$和未感染标签（即负标签）传播的LPSI评分$v^{LPSI_{-}}\in\mathbb{R}^N$这3个节点特征数据。
\begin{equation}
    \label{equ:rspsi_s_inputss_extended_lpsi}
    \begin{split}
        v^{LPSI}   & = LPSI(S, y_m) \\[5pt]
        v^{LPSI_{+}}   & = LPSI(S, y_m^+) \\[5pt]
        v^{LPSI_{-}}   & = LPSI(S, y_m^-) 
    \end{split}
\end{equation}

式中，$y_m^+$是将$y_m[y_m = -1]$部分置0的结果，而$y_m^-$则是将$y_m[y_m = 1]$置0的结果，后二者分别只关注了正标签和负标签的节点传播情况，能够更好地体现标签在社交网络中传播的分布状况。

实际实现过程中，使用如公式\ref{equ:lpsi_conclude}所示的LPSI推导式在实际实现中并不现实。一方面，计算基于超大规模社交网络图数据对应的邻接矩阵经过线性变化得到的矩阵的逆矩阵$(I-\alpha S)^{-1}$需要极大计算量，另一个更重要的方面是，即使通过近似算法计算得到了这个矩阵，其矩阵值中必然充满了大量非零值，这意味着这个计算得到的逆矩阵无法以稀疏矩阵形式存储。因此在本文的实现中，将使用如公式\ref{equ:lpsi_iter_def}所示的递推式进行LPSI评分计算，通过设定最大递推次数控制计算过程的结束。

本文的工作抽取了如公式\ref{equ:rspsi_s_inputss_acc}所示正负标签在传播中的累积占比$y_m^{acc} \in \mathbb{R}^N$这一初始标签级别的特征。这一特征的计算方法抬高了序列前半部分正标签/负标签的重要性，并且也能够凸显出节点在被传染或转变为恢复态时，标签变更行为的显著性。
\begin{equation}
    \label{equ:rspsi_s_inputss_acc}
    y_{mi}^{acc} = 
    \begin{cases} 
    \frac{1}{|\{j \leq i \mid y_{mj} = 1\}|}, & \text{如果 } y_{mi} = 1 \\[5pt]
    -\frac{1}{|\{j \leq i \mid y_{mj} = -1\}|}, & \text{如果 } y_{mi} = -1 
    \end{cases}
\end{equation}

使用处理原始标签$y_m$的方法，可以将累积标签特征$y_m^{acc}$以及从其中分离的正标签（$y_m^{acc+} \in \mathbb{R}^N $）和负标签（$y_m^{acc-}\in \mathbb{R}^N$）部分分别进行LPSI过程评分计算，从而得到如公式\ref{equ:rspsi_s_inputss_extended_acc_lpsi}所示LPSI传播后的三个高阶特征。
\begin{equation}
    \label{equ:rspsi_s_inputss_extended_acc_lpsi}
    \begin{split}
        y_{mi}^{acc+} &= \left\{
            \begin{array}{ll}
            y_m^{acc} & \text{如果 } y_{mi}^{acc} > 0 \\[5pt]
            0 & \text{非上述情况} 
            \end{array}
            \right. \\[5pt]
        y_{mi}^{acc-} &= \left\{
                \begin{array}{ll}
                y_{mi}^{acc} & \text{如果 } y_{mi}^{acc} < 0 \\[5pt]
                0 & \text{非上述情况 } 
                \end{array}
                \right. \\[5pt]
        v^{LPSI_{acc}}   & = LPSI(S, y_m^{acc}) \\[5pt]
        v^{LPSI_{acc+}}   & = LPSI(S, y_m^{acc+}) \\[5pt]
        v^{LPSI_{acc-}}   & = LPSI(S, y_m^{acc-}) 
    \end{split}
\end{equation}

将上述特征拼接，即可得到节点标签快照维度的特征数据。
\subsubsection{标签传播序列整体特征构建}\label{subsubsec:label-feat-process}
标签传播序列整体维度的数据粒度是整个快照，因此假设这一维度在单一快照内抽取得到的特征数量为$K^{seq}$，那么对于节点数量为$N$的完整社交网络图和长度为$M$的标签快照序列，其产生的全部特征数据及其对应向量维度可以表示为$Input^{seq} \in \mathbb{R}^{N \times K^{seq}}$。
标签传播序列整体特征的最小粒度数据抽取依据是一个完整的观测得到的标签快照序列$Y^l = \{y^l_m \mid m \in [1,M]\}$。


本文将节点在一整个标签快照序列的累计感染占比$v^{sum} \in \mathbb{R}^{N}$以及以其为原始标签数据的LPSI计算结果$v^{LPSI_{sum}} \in \mathbb{R}^{N}$纳入标签传播序列整体特征特征，处理方法如下公式\ref{equ:rspsi_s_seq_sum}所示。累计感染占比与节点是否为观测数据中的源点成正相关关系，而基于这一基础数值计算的LPSI评分则能进一步体现出这一节点及其多跳邻居的标签传播情况，能够更综合地反映节点与标签传播相关的时序特征。
\begin{equation}
    \label{equ:rspsi_s_seq_sum}
    \begin{split}
        v^{sum}_i   & = \frac{|\{y_{mi}\mid y_{mi}=1\}|}{M} \\[5pt]
        v^{LPSI_{sum}}   & = LPSI(S,v^{sum}) 
    \end{split}
\end{equation}

本文设计了可扩展的传播标签传播序列特征构建方法，其设计思路是当输入侧能够提供上述关键的节点传播率和恢复率等先验信息时，以这一先验信息作为关键的标签传播序列整体特征嵌入进整个系统中；而如果模型的输入中不能提供先验知识，则通过处理标签输入序列对节点的传播率和恢复率等关键信息进行拟合。

本文将上述标签的传播模型特征归纳为3个核心参数：代表节点在状态为未感染态时，会接受周围感染节点的标签传播而变为感染态的概率的入感染率（Ingress Infect Rate，IIR）$v^{IIR}\in \mathbb{R}^{N}$，代表节点在状态为感染态时，会尝试感染周围未感染态从而将其变为感染态的概率出感染率（Egress Infect Rate，EIR）$v^{EIR}\in \mathbb{R}^{N}$和代表节点在每一个传播轮次中能够恢复为为感染态的概率恢复率（Recovery Rate，RR）$v^{RR}\in \mathbb{R}^{N}$。

具体实现上，对于提供先验传播模型相关参数的数据输入，本文的工作将入感染率和出感染率设为相同的值，其值均为模型规定的节点的传染率$\beta^l\in \mathbb{R}^{N}$，而恢复率就是仅有SIR模型规定的节点恢复率$\gamma^l\in \mathbb{R}^{N}$。
此处传染率和恢复率并不是类似传染病动力学模型的对所有节点固定的值，而是每一个节点都有其单独的传染率和恢复率，这一做法是有意义的。由于社交网络中的用户节点本身具有异构性\cite{zhang2019heterogeneous}和社群性等大量的差异特性，在整体社交网络用户节点上的传播实体往往不是一个特定的值，而是与节点的知识图谱特性、社群归属有着较为重要的联系，整体上往往仅会符合一个大致的概率分布\cite{wang2021approximate,yang2020dpgn}。

RSPSI方法通过启发式方法估算未提供先验传播模型的对应参数。对于一个完整的标签快照序列中的每个节点$i$，入感染率估测值$\hat{v}^{IIR}_i$的计算方法如公式\ref{equ:rspsi_s_seq_iir}所示。其中$m_j$和$m_i$分别指节点$j$和节点$i$首次由未感染态转变为感染态的快照在标签快照序列中的序号。这一估算方法单独测算图数据中节点的每一个入邻居首次感染经过了几个周期才感染观测节点并得到传染概率，通过对所有入邻居的观测值求均值，就可以比较好地拟合节点的入感染率。对于没有入邻居的节点，其入感染率为0。

\begin{equation}
    \label{equ:rspsi_s_seq_iir}
    \hat{v}^{IIR}_i = Average(\{ \frac{1}{m_i - m_j} \mid j \in \mathcal{N}^{Ingress}_i,m_j < m_i \})
\end{equation}

图数据中指定节点$i$的出感染率$v^{EIR}$的估算方法如公式\ref{equ:rspsi_s_seq_eir}所示，RSPSI使用节点出邻居的入感染率来模拟计算节点本身的出感染率。对于没有出邻居的节点，其出感染率也为0。
\begin{equation}
    \label{equ:rspsi_s_seq_eir}
    \hat{v}^{EIR}_i = Average(\{ \hat{v}^{IIR}_i \mid j \in \mathcal{N}^{Egress}_i,m_j > m_i \})
\end{equation}

图数据中指定节点$i$的恢复率$v^{RR}$的估算方法如公式\ref{equ:rspsi_s_seq_rr}所示。其中值$m_i$和$m_i^{recover}$的含义分别对应节点首次感染的快照和首次恢复的快照在快照序列中的序号。这一估算方法以恢复周期的倒数作为节点恢复率的估算值。
\begin{equation}
    \label{equ:rspsi_s_seq_rr}
    \hat{v}^{RR}_i = 
    \begin{cases} 
    \frac{1}{m^{recover}_i - m_i}, & \exists m^{recover}_i\in [m_i,M] \\[5pt]
    0, & \text{其他情况} 
    \end{cases}
\end{equation}

前文提到，对于传播标签进行语义特征分类与标签特征融合是有意义的。因此在本文的实现中，对于指定的传播模型（Propagation Model，PM），将随机生成$C^{PM}$种标签类型，每个标签类型内的标签的先验传播模型使用完全一致的传播模型参数。相对应地，除了将输入标签本身的标签类别作为输入特征拼接到本部分的特征输出中外，本章所计算出的节点的入感染率$v^{IIR}$，出感染率$v^{EIR}$和恢复率$v^{RR}$都将不只以所处理的一个标签快照序列为标准，而是将当前序列和模型已统计的序列做一次平均值计算，并以计算过后的平均值为这三个特征的最终输出。这一处理方法的效果也将在实验部分进行对比研究。

\subsubsection{图拓扑特征构建}

图拓扑特征维度的数据粒度是所有快照序列所在的整个社交网络图数据，因此假设这一维度在单一快照内抽取得到的特征数量为$K^{top}$，那么对于节点数量为$N$的完整社交网络图和任意标签传播序列，其只会产生固定数量的可用特征$Input^{top} \in \mathbb{R}^{N \times K^{top}}$，对应地，其特征抽取依据仅仅是图数据$G=(V,E)$本身以及潜在可用的节点和边特征。
\begin{table}[htbp]
    \caption{\label{tab:node_top_feat}图解点拓扑特征示意表}
    \begin{tabularx}{\linewidth}{c|X<{\centering}}
        \hline
        特征名称 & 特征含义 \\
        \hline
        节点的核度 & 节点在网络的核心程度，反映节点在网络中的重要性。 \\
        
        枢纽评分 & 与权威评分结合使用，反映节点指向其他重要节点的能力。 \\
        
        权威评分 & 与枢纽评分结合使用，反映节点被其他重要节点指向的程度。 \\
        
        特征向量中心度 & 节点对应的特征向量，反映节点在网络中的全局影响力。 \\
        
        聚类系数 & 衡量节点邻居之间的连接紧密程度，反映节点所在社区的紧密性。 \\
        \hline
    \end{tabularx}
\end{table}

在图机器学习领域的研究中，图拓扑信息的嵌入和对应的图表征学习是一个发展相当成熟的研究方向，因此本文的图拓扑特征构建工作参考Qiu等人\cite{qiu_deepinf_2018}的工作，为静态图拓扑数据抽取了如\autoref{tab:node_top_feat}所示的特征，具体计算方法见附录\ref{sec:top-feat}。








\subsection{基于图神经网络的特征表示}
如\autoref{fig:rspsi-s}所示，在本文的模型架构中，对于三个维度的输入特征，使用了三个独立的图神经网络模块，分别学习对应维度特征在图拓扑结构下作用的高维表达。
由于不同维度数据的重复率各有不同，使用同一个图神经网络模块处理不同维度数据就需要量级更大的参数才能做到等效类似的表征能力\cite{xu2018powerfulgnn,zhou2020gnnreview}，同时会不可避免地导致训练过程中因过早复制低维参数导致计算冗余\cite{li2023scconv}。
因此，本文的特征计算方法分别将各维度特征单独用图神经网络模块进行表示与学习，并在此后的步骤中再进行重复拼接与混合处理。

Hou等人\cite{hou_tgasisequential_2023}的做法采用了更复杂的表征模式，其工作为传播序列中的每个传播快照都构建了一个独立的图神经网络模块用以专门学习对应时间点的标签传播信息，这一做法存在以下需要改进之处：
\begin{itemize}
    \item 为传播序列中的每个快照构建独立的图神经网络模块，在每一个输入序列对应的标签快照中感染比例不同的情况下的模型泛化能力有限；
    \item 为每个快照构建独立的图神经网络模块，比较难以处理非定长标签快照序列的输入。现实世界中对于社交网络的观测往往不能完全符合模型要求，如果得到短于或长于设定序列长度的输入，就会难以处理；
    \item 最突出的问题是，这种设计会使得模型所需的显存空间和计算时间随着输入序列线性增长，对于输入长度较长的标签快照序列，模型训练和预测的成本很高。
\end{itemize}

基于上述分析，本文做了三个数据维度的切分，使用同一组图神经网络层学习所有节点标签快照的高阶表示。

在图神经网络这一基础模型选择上，本文的工作提供了前述的GCN、GAT、GATv2和GraphSAGE四种已被广泛应用的图神经网络基础模型，并通过控制变量法对各个基础模型表现效果进行了对比实验，基于实验结果，本文默认选用GATv2网络作为图神经网络表征模块的实现。

经过多层堆叠的图神经网络进行图拓扑信息表征后，RSPSI将被处理的高维度特征通过一个全连接的线性变换层和一个ReLU激活函数层变换为与输入维度相同的输出向量。
RSPSI将图神经网络与激活层处理后的特征与输入的原始特征进行残差连接\cite{he2016resnet}后，输入后续模块。


\subsection{基于MLP-Mixer的多维节点表示混合}\label{subsec:rspsi-s-mixer}

如\autoref{fig:rspsi-s}所示，经图神经网络模块处理后的数据将会被拼接并传入MLP-Mixer层进行进一步的特征混合。对于社交网络中的指定节点$i$，长度为$M$的标签传播序列和大小为$B$的标签快照序列处理批次，图快照特征部分输出的维度为$X^{ss}_i\in \mathbb{R}^{M\times B\times K^{ss}}$，标签快照序列整体特征部分输出的向量维度为$X^{seq}_i\in  \mathbb{R}^{B\times K^{seq}}$，而图拓扑特征部分输出的维度仅为$x^{top}_i\in \mathbb{R}^{ K^{top}}$。
所以在将数据输入特征混合模块前，需要先进行如\autoref{fig:rspsi-s-inputrepeat}所示的数据重复和拼接。在这一阶段进行特征重复与拼接既能够聚合并嵌入三个维度的节点特征到后续的机器学习模块中，又能够最大程度减少计算冗余和存储容量占用。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=\textwidth]{lzy/rspsi-s-inputrepeat.pdf}
    \caption{\label{fig:rspsi-s-inputrepeat}RSPSI-S模型特征重复与拼接流程示意图}
\end{figure}


Ma等人\cite{ma_u-mixer_2024}的研究表明，基于MLP-Mixer这一基础模块的时序深度学习场景模型能够更简单高效地实现两个维度下输入表示向量的自注意力机制。
从这一设计思想出发，在得到三个维度的拼接特征$X^{all}_i \in \mathbb{R}^{M\times B\times (K^{ss}+K^{seq}+K^{top})}$之后，本文将使用类似MLP-Mixer结构的深度学习模块进行两维度混合。考虑到输入数据中的节点标签快照本身就是离散化且周期化观测的序列数据，因此可以将每一个观测得到的节点标签快照作为MLP-Mixer中的“Patch”概念；另一个维度上，本文将三个维度拼接而成的长度为$K^{ss}+K^{seq}+K^{top}$的全部输出数据特征维度的特征通道对应“Channel”概念。

如\autoref{fig:mixer}所示，MLP-Mixer通过两次矩阵转置处理输入和输出特征，其通过设置并学习两组MLP中的可变参数来学习两个维度数据混合后的特征表示。
本文首先进行每个标签快照序列内的所有特征的混合（Patch Mixing），设置$M$个输入和输出维度都是$K_v =K^{ss}+K^{seq}+K^{top}$的MLP，每个MLP都会接受全部图节点在对应时间戳的输入向量$X^{PM}_m \in \mathbb{R}^{ B\times N\times (K^{ss}+K^{seq}+K^{top})}$，并输出同样形状的结果。将这一中间结果通过残差拼接、LayerNorm归一化并转置后，进行标签快照序列之间的相同特征通道维度的混合（Channel Mixing）。特征通道混合部分设置$K^{ss}+K^{seq}+K^{top}$个输入和输出维度都是$M$的MLP，每个MLP都接受全部图节点在对应特征通道下在整个标签快照序列中的输出向量$X^{PM}_k\in \mathbb{R}^{ B\times N\times M} $并输出同样形状的结果，最终通过残差连接、LayerNorm归一化并转置为与输入向量形状相同的输出向量后，得到一层MLP-Mixer的输出。

对于给定的节点标签快照序列，抽取其多维度特征抽取后送入图神经网络层和MLP-Mixer层后得到了节点标签序列中每个节点的嵌入表示，记$K_v = K^{ss}+K^{seq}+K^{top}$，则单批次标签快照序列的图嵌入表示可以记为$X\in  \mathbb{R}^{M\times N\times K_v}$。通过如\autoref{fig:rspsi-s}所示的线性层，可以将这一特征投影到适合输入Transformer模型的维度大小，即$d_{model}$，投影后的中间数据可输入到下文提出的Transformer模型中。


\subsubsection{优化后的MLP-Mixer模块}

对于本文的研究场景，在使用已训练好的模型进行源点检测的预测任务时，三个维度输入的向量特征通道长度可以维持不变，但是对于不同的输入场景，观测得到的标签快照序列的长度$M$可能会有一定程度上的变化。
对于标签快照序列长度偏大的情况，可以通过一定的策略（如固定距离筛选，前期优先筛选等策略）筛选掉一批标签快照从而符合要求。对于标签快照序列长度偏小的情况，本文的工作对MLP-Mixer对预测阶段下的实现做出了一系列改进，改进后的MLP-Mixer模型结构如\autoref{fig:rspsi-s-mixer}所示。

\begin{figure}[htbp]
    \centering
    \includegraphics[width=.7\textwidth]{lzy/rspsi-s-mixer.pdf}
    \caption{\label{fig:rspsi-s-mixer}RSPSI-S方法中改进后的预测期MLP-Mixer模块示意图}
\end{figure}


可以看到，对于长度较小的输入序列，改进后的MLP-Mixer用零向量填充输入，这意味着对应缺少序列数据位置的MLP输出也必然会输出全0向量，因此可以直接跳过这部分的计算直接将全0向量拼接到输出。这一输出经过拼接和转置后被输出到通道混合层。在通道混合层内，全0的输入向量值并不会对MLP的输出产生影响，其对应输出的结果仅对应了存在序列的输出。进一步地，改进后的特征混合层将在LayerNorm后剔除掉对应不存在标签快照位置的输出，并将剩余结果转置以得到最终输出。总体上，这样的设计能够在正常处理不定长输入序列的前提下减少计算量，提升模型效果。



\subsection{基于Encoder-Only Transformer的源点预测}

本模块是本文提出的RSPSI多源点检测算法的核心设计，其整体思路如\autoref{fig:rspsi-s-transformer}所示。以Encoder-Only Transformer序列预测模型为基础模型的源点检测方法的核心思想是：将图标签快照序列和图节点两个维度的嵌入表示通过体现图标签快照时间戳的序列位置编码与体现节点之间的关系与差异的节点位置编码展平为一个维度，这个维度就是多层Transformer模型的输入“序列”。
Transformer层接受这些输入序列，基于对应的训练方法和模型层一系列自注意力计算后得到模型输出$Out_{trans}\in  \mathbb{R}^{(M\times N)\times d_{model}}$。对于监督学习场景，标签快照序列对应了一个确定的先验传播源点集合，因此只需将所有token对应的预测输出在一个线性层投影到预测向量维度，并进行一次加权平均池化，就可以输出对应当前标签快照序列下的认定节点为源点的置信评分，再根据召回率需求从置信向量中选取topk即可得到模型预测源点集合。

\begin{figure}[htbp]
    \centering
    \includegraphics[width=.7\textwidth]{lzy/rspsi-s-transformer.pdf}
    \caption{\label{fig:rspsi-s-transformer}RSPSI-S方法的基于Transformer模型的源点预测方法示意图}
\end{figure}
\subsubsection{Encoder-Only Transformer模型的应用}
\autoref{fig:rspsi-s-transformer}展示了RSPSI-S方法的一系列设计细节。Zhang等人\cite{zhang_graph-bert_2020}提出的Graph-Bert模型使用了复杂的图节点拓扑特征构建方法\cite{schlichtkrull2018rgcn}将图形态的节点嵌入表示转换成可输入到Transformer层的token序列输入。
本文对这一编码和转化方式进行简化，通过结合下列阐述的三种嵌入方法将图节点的表示向量转换成token序列输入：
\begin{enumerate}
    \item 基于图神经网络层和MLP-Mixer层处理过后的图节点原始嵌入$X\in  \mathbb{R}^{M\times N\times K_v}$；
    \item 对每个节点标签快照特征位置计算得到的时序位置编码$PE(pos,i)\in \mathbb{R}^{M\times K_v}$。如公式\ref{equ:rspsi-s-positional_encoding}所示，时序位置的计算方式与Transformer原始的位置编码计算方式类似，但对位置编码变化的波长进行了适应性的修改。这是由于在本文的研究语境下，时序位置编码的长度就是标签快照序列的长度，而这一值不会像文本处理等任务可能很大或者可能有很大的变化，是一个较短且较固定的值，因此本文将缩小位置编码变化的波长以适应任务场景；
    \item 对图数据中的每个节点计算的节点拓扑特征编码$TOP\in \mathbb{R}^{N}$。本文选用特征向量中心度$\vec{x}_{EC}$这一个具有代表性和区分性的拓扑特征用以区分统一标签快照位置中的每个节点。
\end{enumerate}


\begin{equation}
    \label{equ:rspsi-s-positional_encoding}
    \begin{split}
        PE(pos,2i) &= \sin(pos/\Lambda^{2i/d_{model}}) \\[5pt]
        PE(pos,2i+1) &= \cos(pos/\Lambda^{2i/d_{model}}) 
    \end{split}
\end{equation}




基于上述的三个维度的特征嵌入，能将位于$m$位置的标签序列中的节点$i$的嵌入表示转换成第$(m-1)*N+i$个token，而这一token的嵌入表示如下公式\ref{equ:rspsi-s-token-feat}所示。进一步地，被转换后的token序列将作为输入进入堆叠的Transformer层，进行一系列如\autoref{sec:transformer}所示的注意力计算等处理，在计算完成后，被打散成一维序列的预测输出又可以按照（$序列长度M\times 节点格式N$）的形式重整为图批次数据形式的二维结果，进而进行进一步的池化聚合，记这一最后被重整为二维向量的输出结果为$O \in \mathbb{R}^{M\times N}$。
\begin{equation}
    \label{equ:rspsi-s-token-feat}
    h^{(token)}_{(m-1)*N+i} = X_{mi} + PE_{i}(m) + TOP_m(i)
\end{equation}



\subsubsection{加权平均的评分计算}

一个关键的事实情况是，在一组标签快照序列中，处于更早时期的快照有更低的节点感染比例，因此也更有可能体现出传播源节点的源点显著性，所以在基于Encoder-Only Transformer层的输出计算源点显著性置信向量时，应该使得越靠近早期的快照序列对应的输出序列在最终评分中占比越大，越靠近传播晚期的快照序列对应的输出序列在最终评分时占比越小。

RSPSI-S模型设计了如\autoref{fig:rspsi-s-transformer} 所示自定义的加权平均模块，加权平均方法为一组标签快照序列中的每一个位置的标签分配一个大小不一，越靠近传播早期的序列拥有越大的权重。
计算这一权重系数的方法如下\autoref{equ:rspsi-s-avg-weight}所示，这一算法将基于等差序列产生的权重序列进行了归一化。其中，$r^{rb}$和$r^{lb}$分别是最晚和最早的节点标签快照中已感染节点占所有节点的比例。得到权重以后，就能将Transformer层输出的结果$O$加权平均得到最终的评分序列$O^{final}\in  \mathbb{R}^N$。
\begin{equation}
    \label{equ:rspsi-s-avg-weight}
    \begin{split}
        S &= \{ s_1, s_2, \dots, s_{M}; s_i \sim U\left(\frac{1}{r^{rb}}, \frac{1}{r^{lb}}\right)  \} \\[5pt]
        w^{(M)} &= \left\{x_1, x_2, \dots, x_{M} ; x_i = \frac{s_i}{\sum_{s_j\in S} s_j} \right\} 
    \end{split}
\end{equation}

\subsubsection{节点剔除策略}
在本文研究的多源点检测语境中，存在以下所列举两种事实情况，它们会对源点检测方法的决策产生关键影响：
\begin{itemize}
    \item 相当一部分节点在标签传播的早期并未处于感染态，而在节点传播的晚期才会被感染，这些节点是这一标签传播的源点的概率事实上极小，因此完全可以不对这部分节点进行预测，直接认为它们不是源点；
    \item 对于如SIR模型等存在节点恢复行为的标签传播模型，真实的源点可能会在中后期恢复为未感染态。如果使用上述方法剔除长期未被感染的节点，这一类源点可能会被错误地剔除。
\end{itemize}

为了平衡上述优化行为对预测结果的影响，RSPSI-S方法进一步实现了如\autoref{alg:eliminate-node}所示的基于随机负采样的节点提出策略。这一方法将遍历每个标签快照序列并在每次遍历过程中以对每个节点特定的$p_i$概率剔除这一节点，在完成遍历后就得到了需要剔除的节点集合。

\begin{algorithm}[H]
    \begin{algorithmic} % enter the algorithmic environment
        \REQUIRE 从晚期到早期的标签快照序列$Y\in \{-1,1\}^{M\times N}$，节点的剔除率$p\in\mathbb{R}^ N$
        \ENSURE 需要剔除的节点集合$V^E \subseteq V$
        \STATE $V^E \Leftarrow \emptyset$
        \STATE 从晚期到早期遍历快照序列的下标$m \Leftarrow 1$
        \WHILE{$m \in [1,M]$}
            \STATE 遍历图节点的下标$i \Leftarrow 1$
            \WHILE{$i \in [1,N]$}
                \IF{$Y_{mi}==-1$ and $Random(U(0,1)) < p_i$}
                    \STATE $V^E \Leftarrow V^E\cup \{v_i\}$
                \ENDIF
            \ENDWHILE
        \ENDWHILE
    \end{algorithmic}
    \caption{\label{alg:eliminate-node}节点剔除算法}
\end{algorithm}

基于上述算法，合理的剔除概率$p$的分布可以获得较好的权衡效果，即使有某些节点在中途尤其是后半途被“恢复”以至于之后的标签快照中其状态均为非活跃，该节点仍然有一定可能不被标记；而整个批次中都未被感染的节点的存活概率是${1-\left(1-p_i\right)}^{M}$，即使$p_i$较小，在序列长度$M$具有一定长度时，该节点仍然有极大概率被标记剔除。

\subsubsection{剔除策略实现优化}
上述剔除预测节点的做法不仅可以用于最终源点置信值的计算，还可以前推到RSPSI方法的Transformer层的训练和预测过程。
如\autoref{fig:rspsi-s-transformer}所示，RSPSI-S在数据进入堆叠的Transformer层之前就提前计算了需要剔除的节点集合$V^E$，并在进行最后一层的Encoder层的计算时传入$V^E$这一参数，定位到该层所计算的输入和输出序列中对应的$M|V^E|$个token，对于这些token，最后一层Encoder层不会对其进行自注意力计算，而是直接生成$-\infty$的输出，这样经过线性层整理的输出也会是$-\infty$，由于最终的源点置信评分认为分数高者更可能是源点，因此这些被标记剔除的节点也就必不可能被模型判定为源点。

通过使用这样的机制，RSPSI-S方法可以大大减少最后一层Encoder层的自注意力计算量，同时在数据量较少的场景下，可以防止训练数据中源点分布不均导致的过拟合现象。
RSPSI-S的实际实现为训练数据集和预测数据集选用了不同的剔除概率分布$p$，它在训练数据集中较小，在预测数据集中较大。较小的训练时剔除率能够使得更多节点被纳入自注意力计算中，从而尽可能多地学习节点关系间的隐式表征，而较大的预测时剔除率则有助于提高预测任务计算效率。
\subsection{模型损失函数}\label{sec:rspsi-s-loss-func}
RSPSI-S模型基于监督学习模式构建，其将模型预测值与先验源点集合进行比较计算模型的损失函数，其本质上是一个样本极不均衡的二分类任务。
RSPSI-S模型没有使用2维的one-hot向量进行分类，而是输出每个节点的源点置信值，并通过对比和限定比例确定源点集合，因此本文使用基于Sigmod函数的二元交叉熵损失函数（Binary Cross Entropy With Logit Loss, BCEWithLogitLoss）作为本模型的损失函数。此外，由于多源点检测任务具有样本极不均衡特性，在损失函数层面防止过拟合是必要的，因此本文在损失函数中增加了模型参数的L2正则化项\cite{yang2020rethinking}。具体损失函数设置如下公式\ref{equ:rspsi-s-loss-func}所示，其中，先验事实$y\in \{0,1\}^N$代表每个传播序列给出的源点集合，0代表不是源点，1代表是源点。
\begin{equation}
    \label{equ:rspsi-s-loss-func}
    \begin{split}
        \sigma(x) &= \frac{1}{1+\exp(-x)}  \\[5pt]
        w^{(M)} = -\frac{1}{N}\sum_{i=1}^{N}[y_i\log(\sigma(\hat{y_i}))&+(1-y_i)\log(1-\sigma(\hat{y_i}))] + \lambda||W||_2
    \end{split}
\end{equation}


\section{基于拟合现有序列的多源点检测方法RSPSI-E}
本节将提出基于拟合现有序列的多源点检测方法RSPSI-E，即RSPSI方法在社交网络整图上进行自监督学习的具体方法实现。
\autoref{fig:rspsi-e} 展示了RSPSI-E检测方法的整体框架设计。两种RSPSI方法的具体实现在输入特征构建、图神经网络表征等模块的架构相同，关键差别在于使用Transformer层进行模型训练和预测的流程设计和结果产出环节。
由于没有先验源点集合知识，RSPSI-E方法不能将Transformer模型简化成流程相对简单的全局自注意力计算和加权平均产出预测结果的监督学习流程，必须通过学习标签快照序列中的节点标签分布演变特性来生成其预测结果。
基于这一预设，前述为监督学习方法RSPSI-S设计的特征融合模块和基于Transformer的序列预测模块需要相对应地进行掩码模型（Masked Model）化改造以使得模型在序列预测时不能看到未来信息。本章将详细阐述上述设计思路和训练模式下的模型构建方法。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=\textwidth]{lzy/rspsi-e.pdf}
    \caption{\label{fig:rspsi-e}RSPSI-E模型示意图}
\end{figure}





\subsection{基于时序-拓扑块掩码和Decoder-Only Transformer的序列拟合训练流程}\label{sec:rspsi-e-train}
如\autoref{fig:rspsi-e}中的“Sequence Fitting”（即序列拟合）部分所示，RSPSI-E期望通过以逆序的现有序列中前一部分的序列作为输入（即标签传播过程中的晚期节点标签快照），将预测得到的新序列与现有序列中的后一部分（即标签传播过程中的早期节点标签快照）做拟合，从而使得整个Transformer层能够学习到节点标签传播的逆向规律，进而使得模型能够更好地执行预测任务。


以GPT系列\cite{gpt3,achiam2023gpt4}为代表的相当多数量的大语言模型都以Decoder-Only Transformer（后文简称Decoder）为其核心的深度学习基础框架，并通过掩码模型防止模型看到“未来”的token。
类似这种训练模式，RSPSI-E方法使用如\autoref{fig:rspsi-e-mask}所示的时序-拓扑块掩码（Sequential-Topological Block Mask）$M^{B}$来实现对节点标签快照序列的掩码学习。与文本token的编码矩阵不同，时序-拓扑块掩码矩阵中掩码值变更的粒度不再是一个token，而是由前述\autoref{fig:rspsi-s-transformer}所示的由$N$个token组成的一个标签快照token组。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=\textwidth]{lzy/rspsi-e-mask.pdf}
    \caption{\label{fig:rspsi-e-mask}RSPSI-E模型中掩码矩阵与文本任务掩码矩阵对比示意图}
\end{figure}

对于RSPSI算法中同一标签快照中输入Transformer层的相邻token对应的两个节点之间应用因果掩码是没有意义的，每个节点嵌入都应当能感知到和其处在同一个标签快照中的其他节点嵌入，因为它们在时序上是同时存在的，存在因果关系的是具有时序前后关系的快照序列。因此RSPSI-E方法修改后的掩码矩阵的变更粒度变成了一个标签快照中全部token的数量，也即$N$。
使用掩码矩阵，可以基于公式\ref{equ:transformer_attention}产出Decoder层下的自注意力计算结果：
\begin{equation}
    \label{equ:decoder_transformer_attention}
    f_{Attention}(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}}+M^B)V
\end{equation}

如\autoref{fig:rspsi-e-transformer}所示，在实际训练过程中，为了充分利用输入序列的预测特性，RSPSI-E方法在训练数据的开头插入一个用于标记序列开始特殊标签快照$S^{CLS}\in \mathbb{R}^N$。由于标签快照序列将以由旧到新的顺序逆序输入模型，这个在开头插入的特殊快照设应被设为全部节点都被感染，这一特殊快照在输入Decoder后也会被扩充为$N$个特殊token。RSPSI-E方法不易为输入序列设定结束（[SEP]）token，因为这一方法期望模型基于已有的序列进行进一步的预测，而不只是停在固定的长度。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=\textwidth]{lzy/rspsi-e-transformer.pdf}
    \caption{\label{fig:rspsi-e-transformer}基于Decoder的RSPSI-E训练过程示意图}
\end{figure}

在经过Decoder层处理后，每个$N$个token对应生成的$N$个预测值就是模型对这$N$个token组成的标签快照的下一个标签快照的预测值，将包括开始序列的特殊快照对应的预测值在内的$M$个预测快照对实际的下一个事实快照进行拟合，就构成了整个训练过程。

\subsection{基于时序因果掩码模型的MLP-Mixer特征融合模型}

RSPSI-E方法通过学习已有标签快照序列中的节点标签传播特征，并仅基于这一学习到的特征反向预测节点标签快照序列。
这一预测模式意味着其需要在训练过程中通过类似的生成方式拟合已有的序列，且这个训练过程应当确保基于已有快照序列的预测结果不会或得到未来快照序列的输入。在Decoder预测模型中，RSPSI-E使用了时序-拓扑块掩码来确保Transformer层中的生成结果不会看到未来的输入，但MLP-Mixer模块本身就含有对多序列特征混合的实际效果，因此还需要对MLP-Mixer做对应的因果掩码化处理。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=.7\textwidth]{lzy/rspsi-e-mixer.pdf}
    \caption{\label{fig:rspsi-e-mixer}RSPSI-E模型中优化后的时序因果掩码MLP-Mixer模型示意图}
\end{figure}

一个朴素的方法是，为RSPSI-E方法中的MLP-Mixer模块应用类似\autoref{fig:rspsi-s-mixer}所示的RSPSI-S方法中的零向量输入处理策略，在Channel Mixing过程中对于一个指定标签快照位置的输入，仅保留其当前位置和之前的输入表征，将其之后的输入数据改为全0，进而使时序顺序处在当前标签快照位置为止的输入数据对当前特征混合的输出失去计算图连接\cite{paszke2017automatic}，又能够保留它本身及其前序嵌入表征的混合结果。
进一步分析可发现，无论对于\autoref{sec:rspsi-e-train}所描述的训练过程还是下文\autoref{subsec:rspsi-e-prediction}所描述的预测过程，一个指定位置的节点标签快照对应在Channel Mixing层中所能看到的序列都应当是固定的。这意味着如果对于每一个序列都使用同样参数大小的MLP层，无论是在训练过程还是在预测过程中，使用上述的因果掩码化输入处理会使得$\frac{(M-1)^2}{2M^2}$比例，也就是接近一半的MLP神经元会完全接受全0输入，完全不会在模型中发挥作用。

RSPSI-E方法将时序因果掩码嵌入到了模型本身的深度学习模块组合和参数规定上。具体地，由于针对定长输入标签快照序列的因果掩码已经确定，RSPSI-E不再对Channel Mixing层的输入进行置0掩码，而是如\autoref{fig:rspsi-e-mixer}所示，根据每个标签快照输入的位置，直接修改
其对应MLP模块的输入维度。
第$m$个标签快照对应的Patch应当只能看到前$m$个标签快照序列对应的嵌入表示，因此其MLP层对应的输入向量维度（Input Dimension）也设定为$m$，在处理输入时也不能全盘接受Patch Mixing的结果，而是取前$m$个嵌入表示输入MLP层中，它们也对应了当前快照位置可见的输入信息。对于首个序列的输入，一维的线性变换也失去了多维特征融合的意义，因此可以如\autoref{fig:rspsi-e-mixer}所示，直接删除首个序列在Channel Mixing层对应的MLP模块。整体上，这样的处理能够减少存储空间占用并有效加速计算过程。


\subsection{基于逆向序列预测的源点检测}\label{subsec:rspsi-e-prediction}
如\autoref{fig:rspsi-e}中的“Reverse Sequence Prediction”（即逆向序列预测）部分所示，RSPSI-E的预测方法是基于测试集数据给出全量的已有标签序列，进行进一步的标签快照序列生成，并将通过一定规则将源点置信评分转换为标签快照。

在模型不断生成序列的过程中，序列长度会增加到大于$M$，因此需要对相关模块做出修改以正常执行预测流程，本文在实现中采用滑动窗口处理预测任务。一方面，RSPSI-E方法会缓存\autoref{fig:rspsi-e}中所示整个标签快照序列预测任务共用的序列整体维度、图拓扑维度以及所有标签快照维度单独的输入经图神经网络表示层处理后的中间数据；另一方面，每当生成一个新的预测标签快照后，RSPSI-E模型仅会为其单独进行一次标签快照维度的输入特征抽取和图神经网络表征，而不更改标签快照序列整体维度的输入。进一步地，该方法会移除最旧版本快照（即感染最末期）对应的中间数据，这一操作将使得输入表示混合层的标签快照序列窗口长度始终为$M$，从而使得这一模块能够正常工作。

经上述处理后的数据将输入Decoder层，并被用于进行掩码化的预测流程。不同于GPT等以一个token为生成粒度的文本生成模型，标签快照的预测需要对整个图中的所有节点进行预测。因此，在模型预测阶段，RSPSI-E将原始输入数据输入Decoder层之后最后的$N$个token对应的$N$个生成结果作为模型预测的下一组源点置信值，基于感染比例将置信值转化为下一个标签快照的预测值。RSPSI-E方法将在得到预测之后重复上述流程，直到达到指定生成步长$L^G$。

从理论层面出发，生成步长$L^G$的值可被设为相对小且固定的值。从可解释性层面出发，一方面，由于模型输入的整体标签感染比例和标签快照序列长度都相对固定，其对应的获得有效结果的预测步长值也应该相对统一；另一方面，由于模型预测值不是one-hot向量而是排序的置信值，因此相对较少的生成轮次过后，就能得到相对稳定的节点置信分布，即能得到相对固定的预测分类结果。进一步地，本文通过一系列对比实验分析论证了生成步长的选择策略对RSPSI-E模型效果的影响，实验结果也印证了这一观点。




\subsection{感染比例计算策略}

RSPSI-E模型在预测阶段生成序列时的感染节点的比例是一个重要问题。由于RSPSI-E最终仅会输出一个一维向量作为节点的源点置信评分而不是一个2维的one-hot向量，所以如果需要基于源点置信评分来区分节点是否被预测感染，则需要一个感染比例$r^I$，来选择源点评分中降序排名前$r^I$部分的节点。基于每一步生成结果对应的感染比例，就可以根据源点置信评分将节点进行二分类，并将分类生成的$\{-1,1\}$原始标签结果输入到整个RSPSI的输入中，再通过一次图神经网络聚合、MLP-Mixer特征混合得到拼接了预测输入的节点标签快照序列的嵌入表示，将其再次输入到Decoder层中并取最后$N$个token的预测输出得到下一轮的预测置信评分，通过重复这一过程来进行持续的标签预测。

由于在训练过程中就没有给出结束标记，RSPSI-E模型在理论上无法判断应当何时结束生成过程，本文通过一个启发方法，基于给定的传播源点比例$r^{src}$和生成步长$l^G$确定逆向序列预测的步长和每一步对应的节点感染比例$r^I\in \mathbb{R}^{l^G}$。一系列研究\cite{jin2014epidemicspred}表明，传播实体在图结构数据中沿节点间的边在节点中传播，在早期传播时，其传染过程类似网状传播，且早期传播网络重叠范围小意味着大量未感染节点第一次接触到感染节点，这一情况使得被感染节点的数量增长率符合指数分布模型，因此本文将这一标签传播过程中被感染节点的总数量建模为指数函数。因此从初始的源点集合出发到标签传播生成到了能被观测到的最早期的标签快照这一过程中，能得到如下所示节点感染比例、感染步长和指数分布参数的关系:
\begin{equation}
    \label{equ:rspsi-e-exp-distribution}
    r^{lb} = exp(-\lambda l^G)\times r^{src}
\end{equation}

记$a = exp(-\lambda)$，通过上式解算得到$a$的具体数值后，即可以得到如下\autoref{equ:rspsi-e-infect-ratio}所示的从第一个生成的标签快照到结束标签快照中的每一个快照的节点感染比例。
\begin{equation}
    \label{equ:rspsi-e-infect-ratio}
    \forall i\in [M+1, M+l^G],\ r^{I}_i = \frac{r^{lb}}{a^{(i-M)}}
\end{equation}


\subsection{损失函数}
在RSPSI-E的训练流程中，每一个序列对应的$N$个token输出的对应节点标签预测值结果都是一个一维置信评分，而其要拟合的原始标签快照$Y_m\in \{-1,1\}^{N}$也是同样大小的一维向量，因此RSPSI-E方法的训练过程的损失函数与\autoref{sec:rspsi-s-loss-func}中所述的二元sigmod交叉熵损失函数相同，在此不再赘述。



\section{本章小结}

本章介绍了本文基于已有工作及其不足之处，设计的基于逆向序列预测模型的源点检测方法RSPSI的整体思路，以及这一方法在监督学习训练模式和自监督学习训练模式上对应的RSPSI-S和RSPSI-E两种具体实现。

本章对两个模型所共同使用的输入结构，多维输入特征抽取与图神经网络表征部分进行了详细的模块设计介绍，同时基于各自的问题研究语境和实际情况分别介绍了RSPSI-S方法和RSPSI-E方法使用MLP-Mixer进行多维特征融合以及使用Transformer层进行序列预测的模型训练和预测步骤，并对这一系列整体设计中的细节实现环节进行了可行性等理论层面的分析和具体工程实践层面上的说明。